最近，与“预训练，及时和预测”的新范式相比，与“预训练，微调”范式相比，新的范式“预训练，及时和预测”取得了显着的成就。在基于及时的GPT-3成功之后，一系列基于蒙版的语言模型（MLM）（例如Bert，Roberta）及时学习方法变得流行并广泛使用。但是，另一个有效的预训练的判别模型Electra可能被忽略了。在本文中，我们尝试使用拟议的替换代替令牌检测（RTD）基于基于的及时学习方法来完成零摄像的几个NLP任务。实验结果表明，基于RTD-Prompt学习的Electra模型可达到令人惊讶的最先进的零拍性能。在数字上，与MLM-Roberta-Large和MLM-Bert-Large相比，我们的RTD-Electra-Large在所有15个任务上平均提高了约8.4％和13.7％。特别是在SST-2任务上，我们的RTD-Electra-Large在没有任何培训数据的情况下达到了令人惊讶的90.1％精度。总体而言，与预先训练的蒙版语言模型相比，预先训练的代替令牌检测模型在零拍学习中的性能更好。因此，Electra是一位出色的零球学习者。源代码可在以下网址获得：https：//github.com/nishiwen1214/rtd-electra。

人类难以区分谣言的真假，但目前的深度学习模型可以超越人类，并在许多谣言数据集中实现优异的准确性。在本文中，我们调查了似乎表现得很好的深度学习模型是否实际上学会检测谣言。我们通过在五个现实世界数据集中的微调BERT的模型和评估所有测试集中评估基于BERT的模型来评估其泛化能力的概念性示例。实验结果表明，其他看不见的数据集上模型的泛化能力是不令人满意的，甚至无法检测到甚至常见意义谣言。此外，我们通过实验发现，当谣言数据集具有严重数据陷阱时，模型采取快捷方式并学习荒谬的知识。这意味着基于特定规则对谣言文本的简单修改将导致模型预测不一致。为了更现实地评估谣言检测模型，我们提出了一种称为配对测试（BAIRT）的新评估方法，这需要模型同时正确地预测一对测试样本。此外，我们提出了关于如何更好地创建谣言数据集并在本文末尾进行谣言检测模型的建议。

随着社交媒体的发展，社交沟通已经改变。尽管这有助于人们的沟通和信息访问，但它也提供了传播谣言的理想平台。在正常或关键的情况下，谣言会影响人们的判断力，甚至危害社会保障。但是，自然语言是高维且稀疏的，并且在社交媒体上可以以数百种方式表达同样的谣言。因此，质疑当前谣言检测模型的鲁棒性和概括。我们提出了一个小说\ textbf {h} ierarchical \ textbf {a} dversarial \ textbf {t}降雨法，用于\ textbf {r} umor \ textbf {d} etection（hat eTection（hat4rd）在社交媒体上。具体而言，HAT4RD基于梯度上升，通过将对抗性扰动添加到后级别和事件级别模块的嵌入层以欺骗检测器。同时，检测器使用随机梯度下降来最大程度地减少对抗性风险，以学习更健壮的模型。通过这种方式，增强了后级和事件级的样本空间，我们已经在各种对抗性攻击下验证了模型的鲁棒性。此外，视觉实验表明，所提出的模型会漂移到具有扁平损失景观的区域，从而更好地概括。我们对来自两个常用的社交平台（Twitter和Weibo）的三个公共谣言数据集评估了我们的方法。实验结果表明，我们的模型比最先进的方法获得了更好的结果。

信息指标的年龄无法正确描述状态更新的内在语义。在一个智能反映表面上的合作中继通信系统中，我们提出了语义年龄（AOS），用于测量状态更新的语义新鲜度。具体而言，我们专注于从源节点（SN）到目标的状态更新，该状态被称为马尔可夫决策过程（MDP）。 SN的目的是在最大发射功率约束下最大程度地提高AOS和能源消耗的预期满意度。为了寻求最佳的控制政策，我们首先在派利时间差异学习框架下推出了在线深层演员批评（DAC）学习方案。但是，实践实施在线DAC在SN和系统之间无限重复的互动中构成了关键的挑战，这可能是危险的，尤其是在探索过程中。然后，我们提出了一个新颖的离线DAC方案，该方案估算了先前收集的数据集的最佳控制策略，而无需与系统进行任何进一步的交互。数值实验验证了理论结果，并表明我们的离线DAC方案在平均效用方面显着优于在线DAC方案和最具代表性的基线，这表明了对数据集质量的强大鲁棒性。

随着第五代无线通信技术的应用，正在使用更多的智能终端并生成大量数据，这引发了有关如何处理和利用这些无线数据的广泛研究。目前，研究人员专注于有关上层应用程序数据的研究或研究基于蒙特卡洛模拟产生的大量数据的特定问题的智能传输方法。本文旨在通过根据无线通信协议构建知识图以及领域专家知识并进一步研究无线内源性智能来了解无线数据的内源关系。我们首先构建了通过5G/B5G测试网络收集的无线核心网络数据的内源性因素的知识图。然后，基于图形卷积神经网络的新型模型旨在学习图表的表示，该图表用于对图节点进行分类和模拟关系预测。提出的模型实现了自动节点分类和网络异常引起的跟踪。它也以无监督的方式应用于公共数据集。最后，结果表明，所提出的模型的分类精度比现有的无监督图神经网络模型（例如VGAE和ARVGE）更好。

最近，通过协作推断部署深神经网络（DNN）模型，该推断将预训练的模型分为两个部分，并分别在用户设备（UE）和Edge Server上执行它们，从而变得有吸引力。但是，DNN的大型中间特征会阻碍灵活的脱钩，现有方法要么集中在单个UE方案上，要么只是在考虑所需的CPU周期的情况下定义任务，但忽略了单个DNN层的不可分割性。在本文中，我们研究了多代理协作推理方案，其中单个边缘服务器协调了多个UES的推理。我们的目标是为所有UES实现快速和节能的推断。为了实现这一目标，我们首先设计了一种基于自动编码器的轻型方法，以压缩大型中间功能。然后，我们根据DNN的推理开销定义任务，并将问题作为马尔可夫决策过程（MDP）。最后，我们提出了一种多代理混合近端策略优化（MAHPPO）算法，以解决混合动作空间的优化问题。我们对不同类型的网络进行了广泛的实验，结果表明，我们的方法可以降低56％的推理潜伏期，并节省多达72 \％的能源消耗。

大规模捆绑调整（BA）是许多3D视觉应用的关键（例如，结构 - 从 - 动态和SLAM）。虽然重要的是，现有的BA库（例如，CERES和G2O）仍然很差。这些库利用加速器（即，GPU），并且它们缺少算法以在单个设备上分配由存储器限制的BA计算。在本文中，我们提出了Megba，为大型BA的高性能和分布式库。 Megba具有新的端到端VectorAised BA算法，可以充分利用GPU上的大规模并行核心，从而加速整个BA计算。它还具有一种新型分布式BA算法，可以自动分区BA问题，并使用分布式GPU解决BA子问题。 GPU使用网络有效的集体通信使中间求解状态同步，并且设计以最小化通信成本。 Megba具有内存高效的GPU运行时，并公开G2O兼容的API。实验表明，在公共大规模BA基准中，MEGBA可以在公共大规模BA基准中推出高达33倍和3.3倍的最先进的BA库（即，CERES和DEEPLM）。 Megba的代码可用于：\ url {https://github.com/megviirobot/megba}。

A storyboard is a roadmap for video creation which consists of shot-by-shot images to visualize key plots in a text synopsis. Creating video storyboards however remains challenging which not only requires association between high-level texts and images, but also demands for long-term reasoning to make transitions smooth across shots. In this paper, we propose a new task called Text synopsis to Video Storyboard (TeViS) which aims to retrieve an ordered sequence of images to visualize the text synopsis. We construct a MovieNet-TeViS benchmark based on the public MovieNet dataset. It contains 10K text synopses each paired with keyframes that are manually selected from corresponding movies by considering both relevance and cinematic coherence. We also present an encoder-decoder baseline for the task. The model uses a pretrained vision-and-language model to improve high-level text-image matching. To improve coherence in long-term shots, we further propose to pre-train the decoder on large-scale movie frames without text. Experimental results demonstrate that our proposed model significantly outperforms other models to create text-relevant and coherent storyboards. Nevertheless, there is still a large gap compared to human performance suggesting room for promising future work.

Cooperative multi-agent reinforcement learning (c-MARL) is widely applied in safety-critical scenarios, thus the analysis of robustness for c-MARL models is profoundly important. However, robustness certification for c-MARLs has not yet been explored in the community. In this paper, we propose a novel certification method, which is the first work to leverage a scalable approach for c-MARLs to determine actions with guaranteed certified bounds. c-MARL certification poses two key challenges compared with single-agent systems: (i) the accumulated uncertainty as the number of agents increases; (ii) the potential lack of impact when changing the action of a single agent into a global team reward. These challenges prevent us from directly using existing algorithms. Hence, we employ the false discovery rate (FDR) controlling procedure considering the importance of each agent to certify per-state robustness and propose a tree-search-based algorithm to find a lower bound of the global reward under the minimal certified perturbation. As our method is general, it can also be applied in single-agent environments. We empirically show that our certification bounds are much tighter than state-of-the-art RL certification solutions. We also run experiments on two popular c-MARL algorithms: QMIX and VDN, in two different environments, with two and four agents. The experimental results show that our method produces meaningful guaranteed robustness for all models and environments. Our tool CertifyCMARL is available at https://github.com/TrustAI/CertifyCMA

We present Hybrid Infused Reranking for Passages Retrieval (HYRR), a framework for training rerankers based on a hybrid of BM25 and neural retrieval models. Retrievers based on hybrid models have been shown to outperform both BM25 and neural models alone. Our approach exploits this improved performance when training a reranker, leading to a robust reranking model. The reranker, a cross-attention neural model, is shown to be robust to different first-stage retrieval systems, achieving better performance than rerankers simply trained upon the first-stage retrievers in the multi-stage systems. We present evaluations on a supervised passage retrieval task using MS MARCO and zero-shot retrieval tasks using BEIR. The empirical results show strong performance on both evaluations.